Imaginez le travail de sculpter un cerveau au lieu de simplement lui remettre un scénario. Dans l'ère précédente du traitement du langage naturel, Adaptation de domaine était un processus éprouvant de Apprentissage par transfert ou PEFT (Fine-tuning efficace en paramètres). Nous considérions les modèles comme de l'argile, nécessitant des milliers d'exemples étiquetés pour modifier physiquement les poids internes — un processus très coûteux en calcul et qui produisait des versions statiques et hyper-spécialisées de modèles comme BERT.

Le catalyseur GPT-3

Le lancement de GPT-3 a marqué une avancée technologique (SOTA) étape majeure. Il a prouvé que apprentissage contextuel—où le modèle identifie directement des motifs à partir du prompt—correspond souvent ou dépasse les performances de la fine-tuning spécialisée pour des tâches générales. Nous nous sommes orientés vers inférence basée sur les prompts, où la latence et le coût des mises à jour de gradients sont remplacés par l'injection stratégique de contexte.